{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": false
   },
   "source": [
    "## 介绍\n",
    "这个是`chinese-gpt2`的推理代码\n",
    "1. 将`model_name_or_path = \"checkpoint-36000\"`里面的`\"checkpoint-36000\"`,修改为模型所在的路径。\n",
    "2. 然后运行下面一个代码块，即可输出文本生成结果"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "from transformers import GPT2Tokenizer, GPT2LMHeadModel, AutoTokenizer\n",
    "\n",
    "model_name_or_path = \"checkpoint-36000\"\n",
    "tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)\n",
    "\n",
    "# add the EOS token as PAD token to avoid warnings\n",
    "model = GPT2LMHeadModel.from_pretrained(model_name_or_path, pad_token_id=tokenizer.eos_token_id)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Output:\n",
      "----------------------------------------------------------------------------------------------------\n",
      "你 是 谁?, 简 单 的 描 述 是, 答 案 是 你 好 ， 我 是 一 个 女 孩 子 的 妈 妈 。 她 是 我 的 初 中 同 学 。 我 们 一 起 读 书 的 时 候 ， 有 一 次 我 和 她 聊 天 ， 她 问 我 ， 你 为 什 么 喜 欢 我 ？ 我 说 ， 因 为 我 知 道 你 的 家 庭 条 件 不 错 ， 所 以 我 也 很 爱 她 。 后 来 她 告 诉 我 她 的 父 母 都 是 农 村 出 身 的 ， 而 且 是 个 很 有 文 化 的 人 。 当 时 我 就 觉 得 很 奇 怪 ， 就 问 了 她 一 句 ： 你 们 这 些 人 是 怎 么 想 的 ？ 她 回 答 说 ： 是 的 。 那 一 刻 我 感 觉 到 了 自 己 的 力 量 ， 也 就 是 说 我 对 这 个 世 界 充 满 了 好 奇 和 向 往 。 可 是 当 我\n"
     ]
    }
   ],
   "source": [
    "txt = \"\"\"\\\n",
    "你是谁\n",
    "\"\"\"\n",
    "# encode context the generation is conditioned on\n",
    "input_ids = tokenizer.encode(txt, return_tensors='pt', add_special_tokens=False)\n",
    "# set no_repeat_ngram_size to 2\n",
    "beam_output = model.generate(\n",
    "    input_ids, \n",
    "    max_length=200, \n",
    "    num_beams=5, \n",
    "    no_repeat_ngram_size=2, \n",
    "    early_stopping=True\n",
    ")\n",
    "\n",
    "print(\"Output:\\n\" + 100 * '-')\n",
    "print(tokenizer.decode(beam_output[0], skip_special_tokens=True))\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "mynet",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.8"
  },
  "orig_nbformat": 4,
  "vscode": {
   "interpreter": {
    "hash": "b4e9266737a3d6b71b60265cf120055eda92ec7823ffe2a0ed53da8b39d4a1eb"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}
